Recentemente, o Google anunciou o lançamento de um novo modelo de linguagem visual (Vision-Language Model, VLM), chamado PaliGemma2Mix. Este modelo combina processamento de imagem e processamento de linguagem natural, permitindo a compreensão simultânea de informações visuais e entrada de texto, e gerando saídas correspondentes de acordo com as necessidades. Isso representa um avanço significativo na capacidade de processamento de múltiplas tarefas da inteligência artificial. O PaliGemma2Mix possui recursos poderosos, incluindo descrição de imagens, reconhecimento óptico de caracteres

Com o avanço da inteligência artificial, a fusão de dados visuais e textuais tornou-se um desafio complexo. Modelos tradicionais muitas vezes têm dificuldades em analisar com precisão documentos visuais estruturados, como tabelas, gráficos, infográficos e diagramas. Essa limitação afeta a capacidade de extração e compreensão automáticas de conteúdo, impactando aplicações como análise de dados, recuperação de informações e tomada de decisões. Para atender a essa necessidade, a IBM lançou recentemente o Granite-Vision-3.1-2B, um modelo de linguagem visual compacto projetado para compreensão de documentos.

Na indústria de direção autônoma, 2025 é considerado o "ano do VLA nos veículos", marcando o surgimento de um novo paradigma tecnológico. VLA, ou Modelo de Ação Linguagem-Visão (Vision-Language-Action Model), foi proposto pela primeira vez pela DeepMind em 2023, com o objetivo de melhorar a capacidade dos robôs de compreender e reagir ao ambiente. Recentemente, essa tecnologia tem recebido muita atenção na área de direção autônoma. Em comparação com os modelos tradicionais de linguagem visual (VLM), o VLA oferece...

Recentemente, a NVIDIA lançou sua nova geração de modelo de linguagem visual aberto - NVILA. Projetado para otimizar precisão e eficiência, ele se destaca como um líder em IA visual com desempenho superior. De acordo com a NVIDIA, o NVILA reduziu em 4,5 vezes o custo de treinamento, em 3,4 vezes a memória necessária para ajuste fino e quase 2 vezes a latência de preenchimento e decodificação. Esses dados são comparados a outro grande modelo de visão LLaVa OneVision. Em benchmark de vídeo

Nos últimos anos, a demanda por modelos de aprendizado de máquina em tarefas de visão e linguagem tem crescido, mas a maioria dos modelos requer recursos computacionais substanciais, impossibilitando sua execução eficiente em dispositivos pessoais. Dispositivos menores, como laptops, GPUs de consumo e dispositivos móveis, enfrentam desafios significativos no processamento de tarefas de linguagem visual. O Qwen2-VL, por exemplo, embora tenha um desempenho excelente, exige altos recursos de hardware, limitando sua usabilidade em aplicações em tempo real. Portanto, o desenvolvimento de modelos leves para operação em recursos limitados tornou-se...

Recentemente, a Moondream, uma startup de Seattle, lançou o moondream2, um modelo de linguagem visual compacto. Apesar de seu tamanho compacto, o modelo se saiu excepcionalmente bem em vários benchmarks, chamando a atenção. Como um modelo de código aberto, o moondream2 tem o potencial de habilitar o reconhecimento de imagem local em smartphones. Lançado oficialmente em março, o moondream2 pode processar entradas de texto e imagem, com capacidades como responder a perguntas, extração de texto (OCR), contagem de objetos e classificação de itens.

A NVIDIA, em colaboração com diversas universidades, lançou o NVEagle, um grande modelo de linguagem visual capaz de conversar usando imagens. O NVEagle consegue analisar o conteúdo de imagens e fornecer respostas precisas, como identificar a pessoa na imagem como Jensen Huang. O modelo melhora significativamente a capacidade de compreensão de informações visuais ao converter imagens em marcadores visuais e combiná-los com incorporações de texto. Para enfrentar o desafio do processamento de imagens de alta resolução, a equipe de pesquisa explorou diferentes codificadores visuais e estratégias de fusão, construindo modelos como Eagle-X5-7B e Eagle-X.

A Alibaba Cloud lançou o modelo de linguagem visual Qwen-VL, após o lançamento do modelo geral Qwen-7B em agosto. O Qwen-VL suporta chinês e inglês e pode gerar legendas de imagens, responder a perguntas sobre imagens e responder a perguntas sobre documentos. O Qwen-VL pode realizar a localização visual em domínio aberto em chinês, marcando caixas de detecção em imagens.